ZYNQ EBAZ4205+HDMI扩展板 显示Linux桌面播放视频 |
您所在的位置：网站首页 › zynq 引脚 › ZYNQ EBAZ4205+HDMI扩展板 显示Linux桌面播放视频 |
|
之前的文章介绍了如何生成EBAZ4205矿板的u-boot和Linux内核，使用的硬件只有改完SD卡启动的EBAZ4205裸板，只能通过串口与板子通信。这次尝试启动桌面并播放视频（由于EBAZ4205没有引出USB，仍然通过串口控制）。原板子是没有显示接口的，需要自己做一块HDMI扩展板。 ZYNQ的FPGA部分使用的是Artix-7，网上有不少Artix-7输出HDMI的教程，大多使用Digilent DVI IP，FPGA部分可以通过这个IP直接输出TMDS编码的数据，这样就不用专用的RGB2HDMI的IC了。Digilent DVI IP将RGB888 1080P时序的并口数据编码成10bit一组的串行数据输出到pin上，1080P的像素时钟是148.5Mhz，FPGA内部最高时钟是148.5的5倍，采用双边延输出。Digilent DVI IP不支持将音频编码进TMDS流，想要输出音频必须在FPGA上搭建I2S IP，或者使用PDM的方式输出。 EBAZEXT-V2扩展板EBAZEXT-V2 KiCad 6.0工程托管在 GitHub，Elrori/EBAZ4205遵守GPL。 古早之前就画过一板VGA的扩展板，后来没测过。VGA接口已过时，因此画了一板HDMI。板子中DDC/I2C部分不使用，可能有设计上的bug。没有DDC接口，Linux将获取不到显示器分辨率，可以设置设备树让VDMA强制输出1920x1080P60的画面。 接口资源： USB-C供电，EBAZ4205不用再接电源 CMOS/GPIO 接ov摄像头或通用IO 1.3寸LCD/GPIO 接SPI屏幕（1.3寸 240x240 SPI st7789方案） USB转串口 HDMI-A 1080P60 PDM音频输出 按键x2、LEDx2这次测试只用到了HDMI接口。 在这里插入图片描述 在这里插入图片描述 VIVADO 2019.1硬件搭建为了输出画面，FPGA部分要将图像数据从DDR搬运到DVI IP，该工作由XILINX VDMA完成。XILINX VDMA输入AXI4-MM，输出AXI4-Stream接口数据，需要XILINX AXI4S-VID-OUT IP转换为视频时序。时序由XILINX VTC产生。整个硬件架构参考原子《领航者 ZYNQ 之嵌入式 SDK开发指南 V1.3》中的第20章，硬件搭完后必须先裸机测试下SD卡的图片能不能显示。可以直接复制原子的设计，但要修改内存大小、增加concat_2和中断、增加MII接口和4bit concat。硬件架构下图。图中以太网使用的是GMII接口，125MHz x 8bit。4205板子使用MII的PHY芯片，GMII兼容MII，当GMII工作在25MHz x 4bit时就是MII（高4位不用）。PHY芯片自动侦测链路速率，给FPGA 25MHz或2.5MHz时钟。25MHz x 4bit=100Mbps，考虑到96clk帧间隔和包头，实际速率大约90几。 在这里插入图片描述图中的中断concat_2必须接上，否则petalinux报错。综合编译导出硬件设计后产生以下文件备用： to_pl.bit fsbl.elf xxx.hdf (实际上xxx.hdf文件就足以可以产生fsbl.elf 和to_pl.bit了，petalinux-build之后就有了) 在ubuntu16.04环境编译 u-boot & Linux以下过程参考自CSDN文章 全部采用18.3版本。也可以用最新版本，但版本必须一致。如果选择petalinux19.1之后版本，建议直接在ubuntu安装 Vitis 下载： 去XILINX官网下载 petalinux-v2018.3-final-installer.run https://github.com/Xilinx/linux-xlnx/releases/tag/xlnx_rebase_v4.14_2018.3 https://github.com/Xilinx/u-boot-xlnx/releases/tag/xilinx-v2018.3 https://github.com/Digilent/linux-digilent/blob/master/drivers/clk/clk-dglnt-dynclk.c https://github.com/Digilent/linux-digilent/blob/master/drivers/gpu/drm/xilinx/digilent_encoder.c执行过程： # 安装petalinux petalinux-v2018.3-final-installer.run ./petalinux unzip u-boot和linux压缩包到当前目录 # 载入petalinux环境 source ./petalinux/settings.sh # 建立petalinux工程 petalinux-create --type project --template zynq --name proj # 拷贝vivado export hardware 中生成的 hdf文件到当前目录 cp x.hdf ./ # 配置hdf到petalinux工程 cd proj petalinux-config --get-hw-description=../ # 出现选择框（我们选择外部linux源码编译工程，因为我们需要在Linux中添加内核模块，两个.c文件） 1. Image Packaging Configuration -> Root filesystem type 选项中选择 SD card 2. Linux Components Selection -> linux-kernel选择ext-local-src。新增的External linux-kernel local source settings选项内填入你的刚解压linux源码完整路径 保存退出。 # 进入之前解压后的xilinx linux目录 cd ../linux-xlnx-xlnx_rebase_v4.14_2018.3 #------------------------------------------------------------------------------------------ # 增加内核驱动 # 打开 vi ./drivers/clk/Kconfig # 加入以下内容： config COMMON_CLK_DGLNT_DYNCLK tristate "Digilent axi_dynclk Driver" depends on ARCH_ZYNQ || MICROBLAZE help ---help--- Support for the Digilent AXI Dynamic Clock core for Xilinx FPGAs. # 打开 vi ./drivers/clk/Makefile # 加入以下内容： obj-$(CONFIG_COMMON_CLK_DGLNT_DYNCLK) += clk-dglnt-dynclk.o # 打开 vi ./drivers/gpu/drm/xilinx/Kconfig # 加入以下内容： config DRM_DIGILENT_ENCODER tristate "Digilent VGA/HDMI DRM Encoder Driver" depends on DRM_XILINX help DRM slave encoder for Video-out on Digilent boards. # 打开 vi ./drivers/gpu/drm/xilinx/Makefile # 加入以下内容： obj-$(CONFIG_DRM_DIGILENT_ENCODER) += digilent_encoder.o # 加入刚下载的.c文件 cp clk-dglnt-dynclk.c ./drivers/clk/ cp digilent_encoder.c ./drivers/gpu/drm/xilinx/ cd ../proj # 配置linux内核 petalinux-config -c kernel 1. 在 Device Drivers -> Graphics support，选择 Digilent VGA/HDMI DRM Encoder Driver 按 y 2. 在 Device Drivers -> Common Clock Framework 选项中选择 Digilent axi_dynclk Driver 按 y 3. 保存退出，要修改默认的保存文件名 #------------------------------------------------------------------------------------------以上过程就是在Linux中增加新内核模块/驱动的方法，这个是编译进内核而不是编译成.ko驱动文件。可以参考原子《领航者 ZYNQ 之嵌入式Linux 开发指南 V1.5.2》第四篇驱动开发，讲的很详细。 在对应目录加入.c文件 修改对应目录内的Makefile、Kconfig。使之出现在make menuconfig菜单中 # 进入petalinux工程编辑设备树 vi project-spec/meta-user/recipes-bsp/device-tree/files/system-user.dtsi【EBAZ4205+EBAZEXTV2】的设备树内容如下（EBAZEXTV2的LED/KEY外设未添加）。这东西在build之前看不到system-conf.dtsi的内容，否则就可以不依赖petalinux了。 笔者不清楚pinctrl0部分的作用，一般而言，在fsbl配置好FPGA后，MIO的多路选择器已经选到正确的引脚，自带的pinctrl驱动看似是多余的。ebaz-4205设备树已经出现在最新Linux内核中，该设备树可能是假定你没有使用fsbl时编写的，比较完备。 以下内容部分参考Linux内核中的设备树。与显示相关的是最后三个端点。 /include/ "system-conf.dtsi" / { model = "EBAZ4205 board"; compatible = "xlnx,zynq-EBAZ4205", "xlnx,zynq-7000"; aliases { ethernet0 = &gem0; serial0 = &uart1; mmc0 = &sdhci0; }; memory@0 { device_type = "memory"; reg = ; }; chosen { bootargs = ""; stdout-path = "serial0:115200n8"; }; ebaz-keys { compatible = "gpio-keys"; autorepeat; s2 { label = "s2"; gpios = ; /*KEY_POWER*/ linux,code = ; wakeup-source; autorepeat; }; s3 { label = "s3"; gpios = ; /*KEY_HOME*/ linux,code = ; wakeup-source; autorepeat; }; }; ebaz-leds { compatible = "gpio-leds"; led-green { label = "green"; gpios = ; default-state = "on"; }; led-red { label = "red"; gpios = ; default-state = "on"; }; }; }; &clkc { ps-clk-frequency = ; }; &gem0 { status = "okay"; phy-mode = "mii"; phy-handle = ; /* PHY clock */ assigned-clocks = ; assigned-clock-rates = ; phy: ethernet-phy@0 { reg = ; }; }; &smcc { status = "okay"; }; /**/ &nand0 { status = "okay"; pinctrl-names = "default"; pinctrl-0 = ; partition@0 { label = "nand-fsbl-uboot"; reg = ; }; }; &pinctrl0 { pinctrl_nand0_default: nand0-default { mux { groups = "smc0_nand8_grp"; function = "smc0_nand"; }; conf { groups = "smc0_nand8_grp"; bias-pull-up; }; }; pinctrl_uart1_default: uart1-default { mux { groups = "uart1_4_grp"; function = "uart1"; }; conf { groups = "uart1_4_grp"; slew-rate = ; io-standard = ; }; }; }; &sdhci0 { u-boot,dm-pre-reloc; status = "okay"; }; &uart1 { u-boot,dm-pre-reloc; status = "okay"; pinctrl-names = "default"; pinctrl-0 = ; }; &amba_pl { hdmi_encoder_0:hdmi_encoder { compatible = "digilent,drm-encoder"; //digilent,edid-i2c = ;//我没有使用DDC/I2C接口因此把这段注释，强制使用以下分辨率 digilent,hpref = ; digilent,vpref = ; }; xilinx_drm { compatible = "xlnx,drm"; xlnx,vtc = ; xlnx,connector-type = "HDMIA"; xlnx,encoder-slave = ; clocks = ; dglnt,edid-i2c = ; planes { xlnx,pixel-format = "rgb888"; plane0 { dmas = ; dma-names = "dma"; }; }; }; }; &axi_dynclk_0 { compatible = "digilent,axi-dynclk"; #clock-cells = ; clocks = ; }; &v_tc_0 { compatible = "xlnx,v-tc-5.01.a"; };执行： petalinux-build # 由zimage产生uImage： petalinux-package --image -c kernel --format uImage # 将设备树名字改为devicetree.dtb mv xxxx.dtb devicetree.dtb # 如果更改了设备树dts，不用再petalinux-build ，编译设备树： petalinux-build -b device-tree产生uboot、内核（uImage）、根文件系统、设备树（devicetree.dtb）、zynq_fsbl.elf、xx.bit。这里只用设备树（devicetree.dtb）和内核（uImage）： uImage devicetree.dtbpetalinux-build默认会产生image.ub和zImage镜像。image.ub是由zImage .dtb .cpio.gz 构成。.cpio.gz 是内存盘。我习惯用uboot的bootm启动uImage和加载设备树，所以将zImage转成uImage。用bootz启动zImage也可以。 内存中的存放地址如下： 0x0 devicetree_image 0x8000 kernel_image 0x1000000 ramdisk_image 如果使用内存盘就放到这个位置，本文使用SD卡上的ext4根目录，所以没用到进入u-boot源码。参考之前文章（EBAZ4205 ZYNQ 7Z010 u-boot & Linux 生成方法记录）的4、5、6、7、8、9、10步生成 BOOT.bin和devicetree.dtb，注意第10步使用的是新的硬件bit和fsbl.elf（这两个文件可以从vivado&XILINX SDK生成也可以直接用上面petalinux-build产生的）。注意这里u-boot产生的devicetree.dtb是不需要的，用petalinux-build产生的。 参照之前文章第12步编写uEnv.txt。 BOOT.bin uEnv.txt将BOOT.bin uEnv.txt uImage devicetree.dtb放入SD卡fat32分区，分区大小设置为100M左右。大部分进入U-BOOT但启动不了Linux的原因是U-BOOT的bootcmd变量设置不对。在运行bootcmd变量之前，U-BOOT会载入uEnv.txt内的环境变量，可以在环境变量内做一些操作跳过自动bootcmd。在uEnv.txt内修改bootcmd或者加入类似于uenvcmd=run bootm...的命令来指定启动过程。 根文件系统可以直接使用的根文件系统：linaro-precise-ubuntu-desktop-20120723305.tar.gz(https://releases.linaro.org/archive/12.07/ubuntu/precise-images/ubuntu-desktop/) 建议在命令行解压到SD卡ext4分区： sudo tar --strip-components=3 -C /media/xxx/rootfs -xzpf linaro-precise-ubuntu-desktop-20120723-305.tar.gz binary/boot/filesystem.dir分区工具用ubuntu自带的图形disk工具或者用 DiskGenius 启动启动后在ebaz4205的自带串口登录，执行一些必要的修改： vi /etc/apt/sources.list # 源改为以下内容 deb http://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ precise main universe deb-src http://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ precise main universe deb http://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ precise-security main universe deb-src http://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ precise-security main universe deb http://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ precise-updates main universe deb-src http://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ precise-updates main universe # 安装 apt-get update apt-get install openssh-server mplayer fbi jfbterm该Linux内核已经支持HDMI上的 FrameBuffer 所有对显存的操作都是针对/dev/fb0文件的。FrameBuffer学习参考 http://bbs.chinaunix.net/thread-1932291-1-1.html https://zhouyuqian.com/2020/05/11/ZYNQ-%E7%A7%BB%E6%A4%8D-Linux-Frame-Buffer/ https://blog.yangl1996.com/post/ba-tu-pian-zhi-jie-xie-ru-framebuffer/ framebuffer的c语言操作一般是这样的： // 完整的程序参见附录，该程序引用自原子《领航者 ZYNQ 之嵌入式Linux 开发指南 V1.5.2》。 fd = open("/dev/fb0", O_RDWR); /* 获取framebuffer设备的参数信息 */ ioctl(fd, FBIOGET_VSCREENINFO, &fb_var); ioctl(fd, FBIOGET_FSCREENINFO, &fb_fix); screensize = fb_var.yres * fb_fix.line_length; // 用户内存到内核地址的映射 // 如果不做映射，就相当于读写文件，读写文件函数会进入内核态运行，将数据拷贝到用户内存。多一次拷贝。 // mmap在八股文中经常出现，总算是碰到实际应用了 base = (unsigned char *)mmap(NULL, screensize, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0); memset(base, 0x00, screensize); // 显存清零 打开桌面： # lightdm上电初期存在顺序bug，显示不正常，需要先关闭lightdm上电启动。 echo "manual" | sudo tee -a /etc/init/lightdm.override kill -9 # 重新启动lightdm桌面 startx & 尝试播放视频一、图片文件与pdf文件浏览： fbi -T 1 1.JPG fbgs -c 1.pdf 在这里插入图片描述二、视频播放，可以用mplayer： mplayer -lavdopts threads=2 -vo fbdev:/dev/fb0 -nosound /root/Videos/1080p1.mp4-vo fbdev:/dev/fb0 指定framebuffer文件。 当采用两个线程时，帧数少许提高，cpu占用率为90%。帧数仍然很低。但是，能放1080P视频已经是意料之外了。 ebaz1-4.gif三、中文显示（HDMI屏幕显示终端，串口输入按键）： jfbterm 在这里插入图片描述以上备忘 有些地方仍有不足，实际复现时可能会遇到其他困难，如有疑问欢迎讨论学习 附录 /*************************************************************** Copyright © ALIENTEK Co., Ltd. 1998-2029. All rights reserved. 文件名 : lcdTest.c 作者 : 邓涛 版本 : V1.0 描述 : LCD应用层测试程序 其他 : 无 论坛 : www.openedv.com 日志 : 初版V1.0 2020/7/23 邓涛创建 ***************************************************************/ #include #include #include #include #include #include #include #include #include static void display_demo_1 (unsigned char *frame, unsigned int width, unsigned int height, unsigned int stride) { unsigned int xcoi, ycoi; unsigned char wRed, wBlue, wGreen; unsigned int iPixelAddr = 0; for(ycoi = 0; ycoi < height; ycoi++) { for(xcoi = 0; xcoi < (width * 3); xcoi += 3) { if (((xcoi / 4) & 0x20) ^ (ycoi & 0x20)) { wRed = 255; wGreen = 255; wBlue = 255; } else { wRed = 0; wGreen = 0; wBlue = 0; } frame[xcoi + iPixelAddr + 0] = wRed; frame[xcoi + iPixelAddr + 1] = wGreen; frame[xcoi + iPixelAddr + 2] = wBlue; } iPixelAddr += stride; } } static void display_demo_2 (unsigned char *frame, unsigned int width, unsigned int height, unsigned int stride) { unsigned int xcoi, ycoi; unsigned int iPixelAddr = 0; unsigned char wRed, wBlue, wGreen; unsigned int xInt; xInt = width * 3 / 8; for(ycoi = 0; ycoi < height; ycoi++) { for(xcoi = 0; xcoi < (width*3); xcoi+=3) { if (xcoi < xInt) { //White color wRed = 255; wGreen = 255; wBlue = 255; } else if ((xcoi >= xInt) && (xcoi < xInt*2)) { //YELLOW color wRed = 255; wGreen = 255; wBlue = 0; } else if ((xcoi >= xInt * 2) && (xcoi < xInt * 3)) { //CYAN color wRed = 0; wGreen = 255; wBlue = 255; } else if ((xcoi >= xInt * 3) && (xcoi < xInt * 4)) { //GREEN color wRed = 0; wGreen = 255; wBlue = 0; } else if ((xcoi >= xInt * 4) && (xcoi < xInt * 5)) { //MAGENTA color wRed = 255; wGreen = 0; wBlue = 255; } else if ((xcoi >= xInt * 5) && (xcoi < xInt * 6)) { //RED color wRed = 255; wGreen = 0; wBlue = 0; } else if ((xcoi >= xInt * 6) && (xcoi < xInt * 7)) { //BLUE color wRed = 0; wGreen = 0; wBlue = 255; } else { //BLACK color wRed = 0; wGreen = 0; wBlue = 0; } frame[xcoi+iPixelAddr + 0] = wRed; frame[xcoi+iPixelAddr + 1] = wGreen; frame[xcoi+iPixelAddr + 2] = wBlue; } iPixelAddr += stride; } } int main (int argc, char **argv) { struct fb_var_screeninfo fb_var = {0}; struct fb_fix_screeninfo fb_fix = {0}; unsigned int screensize; unsigned char *base; int fd; /* 打开LCD */ fd = open("/dev/fb0", O_RDWR); if (fd < 0) { printf("Error: Failed to open /dev/fb0 device.\n"); return fd; } /* 获取framebuffer设备的参数信息 */ ioctl(fd, FBIOGET_VSCREENINFO, &fb_var); ioctl(fd, FBIOGET_FSCREENINFO, &fb_fix); /* mmap映射 */ screensize = fb_var.yres * fb_fix.line_length; base = (unsigned char *)mmap(NULL, screensize, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0); if ((unsigned char *)-1 == base) { close(fd); return -1; } memset(base, 0x00, screensize); // 显存清零 /* 循环显示不同颜色 */ for ( ; ; ) { display_demo_1(base, fb_var.xres, fb_var.yres, fb_fix.line_length); sleep(2); display_demo_2(base, fb_var.xres, fb_var.yres, fb_fix.line_length); sleep(2); } /* 关闭设备 释放内存 */ memset(base, 0x00, screensize); munmap(base, screensize); close(fd); return 0; } |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |